|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
This works explores means of utilizing extra-sentential context in neural machine translation (NMT). Traditionally, NMT systems translate one source sentence into one target sentence, without any notion of the surrounding text. This is clearly insufficient and different from how humans translate text. For many high-resource language pairs, translations produced by NMT may be under certain, strict conditions, nearly indistinguishable from human produced translations. One of these conditions is that evaluators score the sentences separately. When evaluating whole documents, even the best NMT systems still fall short of human translators. This motivates the research of employing document level context in NMT, since there might not be much more space left to improve translations on the sentence level, at least for high resource languages and domains. This work summarizes recent state-of-the art approaches to context utilization, implements several of them, evaluates them both in terms of general translation quality and on specific context related phenomena, and analyzes their advantages and shortcomings. A hand-made context phenomena test set for English to Czech translation was created for this task.
|
|
|
Neuronový strojový překlad pro jazykové páry s malým množstvím trénovacích dat
Filo, Denis ; Fajčík, Martin (oponent) ; Jon, Josef (vedoucí práce)
Táto práca sa zaoberá neurónovým strojovým prekladom pre tzv. low-resource jazyky. Cieľom bolo pomocou experimentov vyhodnotiť súčasné techniky a navrhnúť ich vylepšenia. Prekladové systémy v tejto práci využívali architektúru neurónových sietí transformer a boli natrénované pomocou frameworku Marian. Vybranými jazykovými pármi pre experimenty boli slovenčina s chorvátčinou a slovenčina so srbčinou. V experimentoch boli predmetom skúmania techniky transfer learning a semi-supervised learning.
|
|
|
Strojový překlad pomocí umělých neuronových sítí
Holcner, Jonáš ; Beneš, Karel (oponent) ; Szőke, Igor (vedoucí práce)
Cílem této práce je popsat a vytvořit systém pro strojový překlad textu postavený na rekurentních neuronových sítích. K tomu je použita architektura enkodér-dekodér umožňující překlad po celých větách. Výsledkem je knihovna nmt, určená k provádění experimentů s různými parametry modelu. Jejich výsledky jsou porovnány vůči systému postavenému na nástroji pro statistický překlad Moses.
|
|
|
Effectiveness of Machine Translation
Kvapil, Lukáš ; Reich, Pavel (oponent) ; Kotásek, Miroslav (vedoucí práce)
The thesis considers machine translation(MT) in terms of difficulties it deals with, describes the most common methods and, with practical examples of MT, evaluates its quality and possible applications. In the first place, the MT has to deal with differences between languages, which can have different inflection, grammatical categories and syntax. Methods to deal with morphological, grammatical and syntactical differences are therefore required. Another problem is on the level of semantics; the MT systems must successfully identify meaning of words and choose appropriate translation. However, the computers have only limited capability in understanding of the meaning and considering context, as well as in making greater decisions about the whole text. To successfully deal with all problems of translation, a complete artificial inteligence would be required, which is not yet available. The most advanced in terms of AI seems to be the neural machine translation, which is the most modern method already used by online translators. The practical example of translation of several types of texts from English to Czech (and from CS to EN) with Google Translate shows that NMT can cope with many language differences and it can often successfully translate terminology and longer phrases, but it still produces a large number of mistakes, reason for which cannot be observed directly, and its behavior is inconsistent and sensitive to any change. To this day, there is still no universal system that would be able to produce Fully Automatic High-Quality Translation. MT application is restricted either by reduced quality of the output or by designing MT system only for specific field or purpose. MT can overall improve translation efficiency, while human involvement is required, but it will not replace human translators in the near future.
|
|
|
Bilingual Dictionary Based Neural Machine Translation
Tikhonov, Maksim ; Beneš, Karel (oponent) ; Kesiraju, Santosh (vedoucí práce)
The development in the recent few years in the field of machine translation showed us that modern neural machine translation systems are capable of providing results of outstanding quality. However, in order to obtain such a system, one requires an abundant amount of parallel training data, which is not available for most languages. One of the ways to improve the quality of machine translation of low-resource languages is data augmentation. This work investigates the task of Bilingual dictionary-based neural machine translation (BDBNMT), the basis of which is the use of the augmentation technique that allows the generation of noised data based on bilingual dictionaries. My aim was to explore the capabilities of BDBNMT systems on different language pairs and under different initial conditions and then compare the obtained results with those of traditional neural machine translation systems.
|
|
|
Machine Translation Using Syntactic Analysis
Popel, Martin ; Žabokrtský, Zdeněk (vedoucí práce) ; Ircing, Pavel (oponent) ; Čmejrek, Martin (oponent)
Strojový překlad s využitím syntaktické analýzy Martin Popel Tato práce popisuje zlepšení anglicko-českého a česko-anglického strojo- vého překladu pomocí metod, které lze použít i na další jazyky. V první části je popsáno několik zlepšení hloubkově-syntaktického překladače TectoMT, například rozšíření pro další jazyky a domény nebo implementace nového typu překladových modelů využívajících kontext a různé metody strojového učení. V druhé části je popsán neuronový překladač Transformer a jeho vy- lepšení. Po detailní analýze vlivu různých hyperparametrů, bylo optimali- zováno trénování systému tak, že dosáhl o 1.0 BLEU lepšího překladu než nejlepší systém v soutěži WMT2017. Využitím jednojazyčných dat cílového jazyka pomocí nového typu zpětného překladu bylo dosaženo dalšího zlep- šení kvality překladu o 2.8 BLEU. Využitím doménové adaptace zohledňující "překladštinu" (translationese) - tedy zohledněním toho, zda paralelní data jsou původně psána česky, nebo anglicky - byl výsledný systém vylepšen o dalších 0.2 BLEU. Tento výsledný neuronový překladač byl signifikantně lepší (p<0.05) než všechny ostatní anglicko-české a česko-anglické překladače v soutěži WMT2018. Podle výsledků ručního hodnocení byla kvalita tohoto strojového překladu dokonce vyšší než kvalita lidského referenčního překladu.
|
|
|
Multi-Target Machine Translation
Ihnatchenko, Bohdan ; Bojar, Ondřej (vedoucí práce) ; Kocmi, Tom (oponent)
V mezinárodním a vysoce mnohojazyčném prostředí se často stává, že řeč, dokument nebo jakýkoli jiný vstup musí být přeložen do velkého počtu jazyků. Není to vždy možné, mít zvlaštní systém pro každou možnou dvojici jazyků vzhledem k tomu, že takový druh překladatelských systémů je výpočetně náročný. Kombinace více cílových jazyků do jednoho překladového modelu obvykle způsobuje snížení kvality výstupu pro každý jeho směr překladu. V této práci provádime experimenty s kombinací cílových jazyků, abychom zjistili, zda jejich nejaké konkrétní seskupení může vést k lepším výsledkům, v porovnání s náhodným výběrem cílových jazyků. Využíváme výsledky nejnovějších výzkumích prací o trénování vícejazyčného Trans- former modelu beze změny jeho architektury: přidáváme značku cílového jazyku do zdro- jové věty. Natrénováli jsme řadu dvojjazyčných a vícejazyčných Transformer modelů a vyhod- notili jsme je na několika testovacích sadách z různých domén. Zjistili jsme, že ve většině případů seskupení souvisejících cílových jazyků do jednoho modelu způsobuje lepší výkon ve srovnání s modely s náhodně vybranými jazyky. Zjistili jsme však také, že doména testovací množiny, stejně jako domény dat vy- bráných do trénovácí množiny, má obvykle významnější vliv na zlepšení nebo zhoršení kvality překladu vícejazyčného modelu ve...
|
|
|
Neuronový strojový překlad pro jazykové páry s malým množstvím trénovacích dat
Filo, Denis ; Fajčík, Martin (oponent) ; Jon, Josef (vedoucí práce)
Táto práca sa zaoberá neurónovým strojovým prekladom pre tzv. low-resource jazyky. Cieľom bolo pomocou experimentov vyhodnotiť súčasné techniky a navrhnúť ich vylepšenia. Prekladové systémy v tejto práci využívali architektúru neurónových sietí transformer a boli natrénované pomocou frameworku Marian. Vybranými jazykovými pármi pre experimenty boli slovenčina s chorvátčinou a slovenčina so srbčinou. V experimentoch boli predmetom skúmania techniky transfer learning a semi-supervised learning.
|
|
|
Multimodality in Machine Translation
Libovický, Jindřich ; Pecina, Pavel (vedoucí práce) ; Specia, Lucia (oponent) ; Čech, Jan (oponent)
Multimodalita ve strojovém překladu Jindřich Libovický Tradičně se většina úloh zpracování přirozeného jazyka řeší výhradně uvnitř jazyka, kdy modely spoléhají na distribuční vlastnosti slov. Hluboké učení se svojí schopností učit se vhodné reprezentace vstupních dat umožňuje využití více informací tím, že trénovací signál nepochází pouze z jazyka, ale o i z obrazové modality. Jednou z úloh, které se pokoušejí využít vizuální informace, je multimodální strojový překlad: překlad popisků obrázků, kdy je stále k dispozici původní obrázek, který lze využít jako vstup pro překladač. Tato práce shrnuje metody společného zpracovávání jazykových dat a fotografií s využitím hlubokého učení. Uvádíme přehled metod, které se využívají k řešení multimodálního strojového překladu a popisujeme náš původní příspěvek k řešení této úlohy. Představujeme metody kombinování více vstupů z potenciálně různých modalit v modelech sekvenčního učení založených na rekurentních neuronových sítích a neuronových sítí s mechanismem sebepozornosti. Uvádíme výsledky, kterých jsme dosáhli při řešení multimodálního strojového překladu a dalších úloh souvisejících se strojovým překladem. Na závěr analyzujeme, jak multimodalita ovlivňuje sémantické vlastnosti větných reprezentací, které v sítích vznikají, a jak sémantické vlastnosti...
|
|
|
Exploring Contextual Information in Neural Machine Translation
Jon, Josef ; Fajčík, Martin (oponent) ; Smrž, Pavel (vedoucí práce)
This works explores means of utilizing extra-sentential context in neural machine translation (NMT). Traditionally, NMT systems translate one source sentence into one target sentence, without any notion of the surrounding text. This is clearly insufficient and different from how humans translate text. For many high-resource language pairs, translations produced by NMT may be under certain, strict conditions, nearly indistinguishable from human produced translations. One of these conditions is that evaluators score the sentences separately. When evaluating whole documents, even the best NMT systems still fall short of human translators. This motivates the research of employing document level context in NMT, since there might not be much more space left to improve translations on the sentence level, at least for high resource languages and domains. This work summarizes recent state-of-the art approaches to context utilization, implements several of them, evaluates them both in terms of general translation quality and on specific context related phenomena, and analyzes their advantages and shortcomings. A hand-made context phenomena test set for English to Czech translation was created for this task.
|
host ::
RSS.